查看原文
其他

星标1.4k,一款国产开源数据同步中间件,支持多种数据源和预警功能

终码一生 2023-07-06
点击“终码一生”,关注,置顶公众号
每日技术干货,第一时间送达!

耗时8个月联合打造 《 2023年Java高薪课程 》,更新了 102G 视频累计更新时长 500+ 个小时,需要的小伙伴可以了解下,一次购买,持续更新,无需2次付费。

DBSyncer是一款开源的数据同步中间件,提供MySQLOracleSqlServerPostgreSQLElasticsearch(ES)KafkaFileSQL等同步场景。

支持上传插件自定义同步转换业务,提供监控全量和增量数据统计图、应用性能预警等。

特点

  • 组合驱动,自定义库同步到库组合,关系型数据库与非关系型之间组合,任意搭配表同步映射关系

  • 实时监控,驱动全量或增量实时同步运行状态、结果、同步日志和系统日志

  • 开发插件,自定义转化同步逻辑

设计

架构图

应用场景

使用教程

1.启动 代理 和 数据库 服务

2.准备测试账号,test

3.分配sysadmin角色

4.分配指定数据库权限

PostgreSQL

通过复制流技术监听增量事件,基于内置插件pgoutputtest_decoding实现解析wal日志

1、修改postgresql.conf文件,重启服务

wal_level=logical

2、授予账号权限LOGINREPLICATION

File

监听文件修改时间得到变化文件,通过文件偏移量读取最新数据

  • https://gitee.com/ghi/dbsyncer/issues/I55EP5

ES

  • 定时获取增量数据。
  • 账号具有访问权限。

日志

建议MySQL、SqlServer、PostgreSQL都使用日志

定时

假设源表数据格式

预览

驱动管理

驱动详情

驱动表字段关系配置

监控

上传插件

开源地址

  • https://gitee.com/ghi/dbsyncer
END



【福利】2023 高薪课程,全面来袭(视频+笔记+源码)


PS:防止找不到本篇文章,可以收藏点赞,方便翻阅查找哦。



往期推荐



SpringBoot 多数据源及事务解决方案

卸载 Notepad++!事实已证明,它更牛逼…

为什么我不建议你用阿里巴巴Java规范,而使用 Google Guava 编程?

网页版的 Redis 可视化工具来了,已开源!

Java 20 正式发布,超神了....

3 个腾讯开源的 GitHub 项目,足够惊艳!

SpringBoot 集成 Dubbo 启用 gRPC 协议


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存